Source-free domain adaptation (SFDA) aims to transfer knowledge learned from a source domain to an unlabeled target domain, where the source data is unavailable during adaptation. Existing approaches for SFDA focus on self-training usually including well-established entropy minimization techniques. One of the main challenges in SFDA is to reduce accumulation of errors caused by domain misalignment. A recent strategy successfully managed to reduce error accumulation by pseudo-labeling the target samples based on class-wise prototypes (centroids) generated by their clustering in the representation space. However, this strategy also creates cases for which the cross-entropy of a pseudo-label and the minimum entropy have a conflict in their objectives. We call this conflict the centroid-hypothesis conflict. We propose to reconcile this conflict by aligning the entropy minimization objective with that of the pseudo labels' cross entropy. We demonstrate the effectiveness of aligning the two loss objectives on three domain adaptation datasets. In addition, we provide state-of-the-art results using up-to-date architectures also showing the consistency of our method across these architectures.
translated by 谷歌翻译
神经网络量化能够在边缘设备上部署模型。对其硬件效率的基本要求是平衡器是硬件友好的:均匀,对称,以及两个阈值的功率。据我们所知,目前的训练后量化方法不同时支持所有这些约束。在这项工作中,我们引入了硬件友好的训练量化(HPTQ)框架,通过协同组合几种已知的量化方法来解决这个问题。我们对四个任务进行了大规模的研究:在各种网络架构上进行分类,对象检测,语义分割和姿势估计。我们广泛的实验表明,可以在硬件友好的限制下获得竞争结果。
translated by 谷歌翻译
卷积神经网络包含强大的先验,用于产生自然的图像[1]。这些先验可以以无监督的方式启用图像降解,超级分辨率和灌输。以前尝试在音频中展示类似想法的尝试,即深度音频先验,(i)使用诸如谐波卷积之类的手挑选的体系结构,(ii)仅使用频谱输入工作,并且(iii)主要用于消除高斯噪声[2]。在这项工作中,我们表明,即使在使用原始波形时,现有的音频源分离的SOTA体系结构也包含深度先验。可以通过训练神经网络来发现深度先验,以产生单个损坏的信号,因为将白噪声作为输入。具有相关深度先验的网络可能会在损坏的信号收敛之前生成更清洁的信号版本。我们通过几种损坏证明了这种恢复效果:背景噪声,混响和信号中的差距(音频介绍)。
translated by 谷歌翻译
我们为大脑和行为提供了一般的理论框架,这些框架是进化的和计算方式。我们抽象模型中的大脑是一个节点和边缘网络。虽然它与标准神经网络模型有一些相似之处,但随着我们所示,存在一些显着差异。我们网络中的节点和边缘都具有权重和激活级别。它们充当使用一组相对简单的规则来确定激活级别和权重的概率传感器,以通过输入,生成输出,并相互影响。我们表明这些简单的规则能够实现允许网络代表越来越复杂的知识的学习过程,并同时充当促进规划,决策和行为执行的计算设备。通过指定网络的先天(遗传)组件,我们展示了进化如何以初始的自适应规则和目标赋予网络,然后通过学习来丰富。我们展示了网络的开发结构(这决定了大脑可以做些什么以及如何良好)受影响数据输入分布的机制和确定学习参数的机制之间的共同进化协调的批判性影响(在程序中使用按节点和边缘运行)。最后,我们考虑了模型如何占了学习领域的各种调查结果,如何解决思想和行为的一些挑战性问题,例如与设定目标和自我控制相关的问题,以及它如何帮助理解一些认知障碍。
translated by 谷歌翻译